BayesAME: Bayesian Active Model Evaluation
贝叶斯主动模型评估：自动确定核心集大小的序列框架
🧭 主动贝叶斯模型评估 · 核心集选择
Imperial College London · Google DeepMind
通过贝叶斯序列设计自动停止，用信息增益选评估项，以历史模型相似性为先验，实现高效基准评估
📌 工作参考价值（4 点）
- 在评估大量推荐模型版本或A/B测试时，可直接用此方法动态选择评测子集，计算成本降低且自动决定何时停止
- 当有历史模型在相同项目上的评分数据（如多个旧模型在商品集上的CTR），可利用潜在能力分组先验加速新模型评估
- 多目标扩展能捕获模型间的性能相关性，适合同时评估多个候选模型（如对比多个精排模型）；工程实现可采用连续响应对数似然替代硬二元分数，提升估计精度
- 信息增益驱动的主动选择策略可迁移到查询建议质量评估、生成式推荐结果的在线人工标注等稀疏评估场景